Diffractive optical networks provide rich opportunities for visual computing tasks since the spatial information of a scene can be directly accessed by a diffractive processor without requiring any digital pre-processing steps. Here we present data class-specific transformations all-optically performed between the input and output fields-of-view (FOVs) of a diffractive network. The visual information of the objects is encoded into the amplitude (A), phase (P), or intensity (I) of the optical field at the input, which is all-optically processed by a data class-specific diffractive network. At the output, an image sensor-array directly measures the transformed patterns, all-optically encrypted using the transformation matrices pre-assigned to different data classes, i.e., a separate matrix for each data class. The original input images can be recovered by applying the correct decryption key (the inverse transformation) corresponding to the matching data class, while applying any other key will lead to loss of information. The class-specificity of these all-optical diffractive transformations creates opportunities where different keys can be distributed to different users; each user can only decode the acquired images of only one data class, serving multiple users in an all-optically encrypted manner. We numerically demonstrated all-optical class-specific transformations covering A-->A, I-->I, and P-->I transformations using various image datasets. We also experimentally validated the feasibility of this framework by fabricating a class-specific I-->I transformation diffractive network using two-photon polymerization and successfully tested it at 1550 nm wavelength. Data class-specific all-optical transformations provide a fast and energy-efficient method for image and data encryption, enhancing data security and privacy.

Multispectral imaging has been used for numerous applications in e.g., environmental monitoring, aerospace, defense, and biomedicine. Here, we present a diffractive optical network-based multispectral imaging system trained using deep learning to create a virtual spectral filter array at the output image field-of-view. This diffractive multispectral imager performs spatially-coherent imaging over a large spectrum, and at the same time, routes a pre-determined set of spectral channels onto an array of pixels at the output plane, converting a monochrome focal plane array or image sensor into a multispectral imaging device without any spectral filters or image recovery algorithms. Furthermore, the spectral responsivity of this diffractive multispectral imager is not sensitive to input polarization states. Through numerical simulations, we present different diffractive network designs that achieve snapshot multispectral imaging with 4, 9 and 16 unique spectral bands within the visible spectrum, based on passive spatially-structured diffractive surfaces, with a compact design that axially spans ~72 times the mean wavelength of the spectral band of interest. Moreover, we experimentally demonstrate a diffractive multispectral imager based on a 3D-printed diffractive network that creates at its output image plane a spatially-repeating virtual spectral filter array with 2x2=4 unique bands at terahertz spectrum. Due to their compact form factor and computation-free, power-efficient and polarization-insensitive forward operation, diffractive multispectral imagers can be transformative for various imaging and sensing applications and be used at different parts of the electromagnetic spectrum where high-density and wide-area multispectral pixel arrays are not widely available.

A unidirectional imager would only permit image formation along one direction, from an input field-of-view (FOV) A to an output FOV B, and in the reverse path, the image formation would be blocked. Here, we report the first demonstration of unidirectional imagers, presenting polarization-insensitive and broadband unidirectional imaging based on successive diffractive layers that are linear and isotropic. These diffractive layers are optimized using deep learning and consist of hundreds of thousands of diffractive phase features, which collectively modulate the incoming fields and project an intensity image of the input onto an output FOV, while blocking the image formation in the reverse direction. After their deep learning-based training, the resulting diffractive layers are fabricated to form a unidirectional imager. As a reciprocal device, the diffractive unidirectional imager has asymmetric mode processing capabilities in the forward and backward directions, where the optical modes from B to A are selectively guided/scattered to miss the output FOV, whereas for the forward direction such modal losses are minimized, yielding an ideal imaging system between the input and output FOVs. Although trained using monochromatic illumination, the diffractive unidirectional imager maintains its functionality over a large spectral band and works under broadband illumination. We experimentally validated this unidirectional imager using terahertz radiation, very well matching our numerical results. Using the same deep learning-based design strategy, we also created a wavelength-selective unidirectional imager, where two unidirectional imaging operations, in reverse directions, are multiplexed through different illumination wavelengths. Diffractive unidirectional imaging using structured materials will have numerous applications in e.g., security, defense, telecommunications and privacy protection.

过去的十年见证了深度学习在各种计算成像，传感和显微镜任务中的变革性应用。由于采用了有监督的学习方案，因此大多数方法取决于大规模，多样化和标记的培训数据。此类培训图像数据集的获取和准备通常很费力且昂贵，也导致对新样本类型的估计和概括有限。在这里，我们报告了一种称为Gedankennet的自制学习模型，该模型消除了对标签或实验培训数据的需求，并证明了其对全息图重建任务的有效性和卓越的概括。如果没有关于要成像的样本类型的先验知识，则使用物理矛盾的丢失和人为的随机图像进行了培训，这些模型是合成生成的，没有任何实验或与现实世界样本的相似之处。在其自制训练之后，Gedankennet成功概括为各种看不见的生物样品的实验全息图，并使用实验获得的测试全息图重建了不同类型对象的相位和振幅图像。 Gedankennet的自我监督学习实现了与Maxwell的方程相一致的复杂图像重建，无需访问实验数据或知识的真实样本或其空间特征的知识，就意味着其输出推理和对象解决方案准确地表示波传播，这实现了复杂的图像重建。在自由空间中。对图像重建任务的自我监督学习为全息，显微镜和计算成像领域的各种反问题打开了新的机会。

暴露于霉菌孢子和花粉等生物 - 大紫胶会导致不利的健康影响。需要一种便携式且具有成本效益的设备来长期监测和量化各种生物紫胶。为了满足这一需求，我们提出了一种移动性和成本效益的无标签生物透射剂传感器，该传感器拍摄了由虚拟撞击器集中的流动颗粒物的全息图像，该图像有选择地放慢速度，并引导颗粒大于6微米，以飞过大于6微米成像窗口。流动的颗粒被脉冲激光二极管照亮，在无镜头移动成像设备中的CMOS图像传感器上施放了其内联全息图。该照明包含三个短脉冲，在一个脉冲中流动粒子可以忽略不计，同一粒子的一式三份全息图记录在单个框架上，然后才退出成像视野视野，从而揭示了每个粒子的不同视角。虚拟撞击器中的颗粒通过差异检测方案进行定位，并且深层神经网络基于获得的全息图像，以无标签的方式对气溶胶类型进行了分类。我们使用不同类型的花粉（即，百慕大，榆树，橡树，松树，小麦和小麦）使用虚拟撞击器证明了这种移动生物 - 大气探测器的成功，并实现了92.91％的盲目分类精度。这种移动性和成本效益的设备重约700 g，可用于长时间对各种生物透气体的无标记感应和量化，因为它基于无弹药的虚拟撞击器，该虚拟撞击器不会捕获或固定颗粒物。

衍射深神经网络（D2NNS）定义了一个由空间工程的被动表面组成的全光计算框架，该框架通过调节传播光的幅度和/或相位来共同处理光学输入信息。衍射光学网络通过薄衍射量以光的速度来完成其计算任务，而无需任何外部计算能力，同时利用了光学的巨大并行性。证明了衍射网络以实现对象的全光分类并执行通用线性变换。在这里，我们首次证明了使用衍射网络的“延时”图像分类方案，通过使用输入对象的横向运动和/或衍射网络，可以显着提高其在复杂输入对象上的分类准确性和概括性性能。 ，相对于彼此。在不同的上下文中，通常将对象和/或相机的相对运动用于图像超分辨率应用程序；受其成功的启发，我们设计了一个延时衍射网络，以受益于由受控或随机横向移动创建的互补信息内容。我们从数值探索了延时衍射网络的设计空间和性能限制，从CIFAR-10数据集的对象进行光学分类中揭示了62.03％的盲测精度。这构成了迄今使用CIFAR-10数据集上的单个衍射网络达到的最高推理精度。延时衍射网络将对使用全光处理器的输入信号的时空分析广泛有用。

随机且未知的散射介质背后的对象的分类为计算成像和机器视野字段的具有挑战性的任务。最新的基于深度学习的方法证明了使用图像传感器收集的扩散器延伸模式对对象进行分类。这些方法需要使用在数字计算机上运行的深神经网络进行相对大规模的计算。在这里，我们提出了一个全光处理器，使用单个像素检测到的宽带照明通过未知的随机相扩散器直接对未知对象进行分类。使用深度学习进行了优化的一组传播衍射层，形成了一个物理网络，该物理网络全面地绘制了随机扩散器后面输入对象的空间信息，以进入通过单个像素在输出平面上检测到的输出光的功率谱，衍射网络。我们在数值上使用宽带辐射通过随机新扩散器对未知手写数字进行分类，在训练阶段从未使用过，并实现了88.53％的盲目测试准确性。这种通过随机扩散器的单像素全光对象分类系统基于被动衍射层，该层可以通过简单地缩放与波长范围的衍射范围来缩放衍射特征，从而在电磁光谱的任何部分中运行，并且可以在电磁光谱的任何部分工作。这些结果在例如生物医学成像，安全性，机器人技术和自动驾驶中具有各种潜在的应用。

病理诊断依赖于组织学染色的薄组织样品的目视检查，其中使用不同类型的污渍来对比并突出各种所需的组织学特征。但是，破坏性的组织化学染色程序通常是不可逆的，因此很难在同一组织段上获得多个污渍。在这里，我们通过层叠的深神经网络（C-DNN）演示了虚拟的染色转移框架，以数字化将苏木精和曙红（H＆E）染色的组织图像转化为其他类型的组织学染色。与单个神经网络结构不同，该结构仅将一种染色类型作为一种输入来输出另一种染色类型的数字输出图像，C-DNN首先使用虚拟染色将自动荧光显微镜图像转换为H＆E，然后执行从H＆E到另一个域的染色转换以级联的方式染色。在训练阶段的这种级联结构使该模型可以直接利用H＆E和目标特殊污渍的组织化学染色图像数据。该优势减轻了配对数据获取的挑战，并提高了从H＆E到另一个污渍的虚拟污渍转移的图像质量和色彩准确性。我们使用肾针芯活检组织切片验证了这种C-DNN方法的出色性能，并将H＆E染色的组织图像成功地转移到虚拟PAS（周期性酸 - 雪）染色中。该方法使用现有的，组织化学染色的幻灯片提供了特殊污渍的高质量虚拟图像，并通过执行高度准确的污渍转换来创造数字病理学的新机会。

开发了基于深度学习的虚拟染色是为了将图像与无标签的组织截面形成鲜明对比，以数字方式与组织学染色相匹配，组织学染色是耗时，劳动密集型且与组织破坏性的。标准的虚拟染色需要在无标签组织的整个幻灯片成像过程中使用高的自动对焦精度，这会消耗总成像时间的很大一部分，并可能导致组织光损伤。在这里，我们介绍了一个快速的虚拟染色框架，该框架可以染色未标记的组织的散焦自动荧光图像，从而达到与无焦标签图像的虚拟染色相同的性能，还可以通过降低显微镜的自动焦点来节省大量的成像时间。该框架结合了一个虚拟自动化的神经网络，以数字重新聚焦了散落的图像，然后使用连续的网络将重新聚焦的图像转换为几乎染色的图像。这些级联网络构成了协作推理方案：虚拟染色模型通过培训期间的样式损失使虚拟自动化网络正常。为了证明该框架的功效，我们使用人肺组织训练并盲目地测试了这些网络。使用较低的焦点精度的4倍焦点，我们成功地将专注于重点的自动荧光图像转换为高质量的虚拟H＆E图像，与使用精心注重的自动荧光输入图像的标准虚拟染色框架相匹配。在不牺牲染色质量的情况下，该框架减少了无标签的全滑动图像（WSI）虚拟染色所需的总图像获取时间〜32％，同时降低了约89％的自动对焦时间，并且具有〜89％消除病理学中费力且昂贵的组织化学染色过程的潜力。

斑块测定是量化复制能力裂解病毒体浓度的黄金标准方法。加快和自动化病毒斑块分析将显着受益于临床诊断，疫苗开发以及重组蛋白或抗病毒药的产生。在这里，我们使用无透明全息成像和深度学习提出了快速且无染色的定量病毒斑块测定法。这种具有成本效益，紧凑和自动化的设备可显着减少传统斑块测定所需的孵化时间，同时保留其优于其他病毒定量方法的优势。该设备以每次测试井的对象捕获〜0.32 Giga像素/小时的相位信息，以无标签的方式覆盖约30x30 mm^2的面积，完全消除了染色。我们使用Vero E6细胞和囊泡气孔病毒证明了这种计算方法的成功。使用神经网络，此无染色装置最早在孵育后5小时内自动检测到第一个细胞裂解事件，并以100％的形式达到了> 90％的检测率（PFU）与传统的斑块测定法相比，特异性在<20小时内，可节省大量时间，而传统的牙菌斑测定时间约为48小时或更长时间。该数据驱动的牙菌斑测定还提供了量化细胞单层感染区域的能力，比标准病毒斑块分析的病毒浓度大10倍，对PFU和病毒感染区域进行自动计数和定量。这种紧凑，低成本的自动PFU定量设备可以广泛用于病毒学研究，疫苗开发和临床应用